Ngày 27 tháng 1 năm 1972, lúc 60 tuổi, Mahalia Jackson qua đời tại Chicago do bệnh tim và biến chứng bệnh tiểu đường. Có hai thành phố cùng bày tỏ sự thương tiếc dành cho nữ hoàng nhạc phúc âm: Chicago và New Orleans. Bên ngoài Nhà thờ Baptist Greater Salem ở Chicago có hơn 50.000 người biết và yêu quý Mahalia tụ tập về đây, lặng lẽ xếp hàng đi qua chiếc quan tài nắp kính chứa đựng thân xác người nghệ sĩ quá cố.[16] Hôm sau, hơn 6.000 người nén chặt các hàng ghế, đứng dọc các bức tường của sảnh hòa nhạc thành phố, Nhà hát Arie Crown, để dự tang lễ kéo dài hai giờ đồng hồ. Mục sư của Mahalia, Leon Jenkins, Thị trưởng Richard J. Daley, Bà Coretta Scott King đọc điếu văn, gọi bà là "một người bạn – tự trọng, da đen, và kiều diễm."[17] Aretha Franklin kết thúc tang lễ với ca khúc Precious Lord, Take My Hand đầy xúc động.

Ba ngày sau, cách Chicago một ngàn dặm, diễn ra một quang cảnh tương tự: những hàng người lặng lẽ thương tiếc, và thính phòng rộng lớn của Trung tâm Hội nghị Rivergate ở trung tâm thành phố New Orleans chật kín người. Thị trưởng Moon Landrieu, Thống đốc bang Louisiana John J. McKeithen cùng các ca sĩ nhạc phúc âm Bessie Griffin, và Dick Gregory ca ngợi "sức mạnh tinh thần" của Mahalia Jackson, gọi đó là nguyên nhân chính dẫn đến thành công của bà, rồi Lou Rawl hát ca khúc Just a Closer Walk With Thee. Đoàn xe tang với 24 chiếc Limousine chậm rãi đi qua địa điểm Mahalia thường đến dự lễ thờ phượng khi còn thơ ấu, Nhà thờ Baptist Núi Moriah, tại đây các bài hát của Mahalia được phát qua loa phóng thanh, rồi đoàn xe đến Công viên Tưởng niệm Providence ở Metaire, Louisiana. Mahalia được an táng tại đây.[18] Bia mộ ghi năm sinh của Mahalia là 1912 mặc dù bà chào đời năm 1911.